NeurIPS 2022 | 基于实例等价性的知识图谱补全

©PaperWeekly 原创 · 作者 | 陈星然、崔万云

单位 | 密歇根大学、上海财经大学

研究方向 | 知识图谱、知识推理

摘要

之前的研究普遍认为，规则推理模型依靠规则中前提和假说的语义一致性。例如 ，的语义与 一致。我们挑战这一观点。我们发现了一类特殊的规则。这类规则表示了不同实例在某一属性上的等价性，而非语义一致性。

令人惊讶的是，尽管这类规则只占据整个规则空间的一小部分，利用它们在 4 个标准知识图谱补全数据集上的推理效果都超过了其它所有规则的效果。这表明，规则推理模型之所以有效，很大程度上是因为该实例等价性，而非语义一致性。这一发现对规则推理模型的工作机制提供了新的洞察。

基于该洞察，我们提出了一种知识图谱补全新方法：基于实例的学习（instance-based learning）。例如，为了回答（Jill Biden, lived city, ? ），我们不直接找到答案实体 Washington D.C.，而是找到原型实体Joe Biden，因为他与 Jill Biden 有相同的 lived city。我们基于翻译模型（translational model）发展了实例等价性的理论，并与原有翻译模型相结合。我们在多个数据集上验证了所提出模型的有效性和可解释性。

本文已被 NeurIPS 2022 接收。

论文标题：

Instance-based Learning for Knowledge Base Completion

论文链接：

https://arxiv.org/abs/2211.06807

代码链接：

https://github.com/chenxran/InstanceBasedLearning

对规则推理的新洞察——实例等价性

2.1 规则推理（rule-based reasoning）的一般认知

基于规则推理的知识图谱补全模型，对现有图谱数据归纳出形如 的规则集合，并进行推理。如下是一些之前文献中提到的典型规则：

RNNLogic [1] 提到的例子：

NeuralLP [2] 提到的例子：

基于这些例子，研究人员普遍认为规则的前提（premise）和假说（hypothesis）具备语义一致性。例如，nationality与路径  的语义是一致的。

2.2 一类特殊规则的发现

我们发现的一类特殊的规则打破了上述认知。我们在下边展示出 FB15k-237 数据集中，对于 profession 关系使用 RNNLogic [1] 归纳出的排名前三的规则。

可以看出，这类规则形如：

我们在下文将称这类特殊的规则为 *-rules。这两种形式的前提（premise）都包含两个含义相互对立的对称关系，如 。该对立关系的组合所表达的语义不能被人直接理解，这导致这类规则的前提和假设之间的语义关联不明确。

有趣的是，我们的进一步研究发现了 *-rules 具有理论合理性和实验有效性。

理论合理性：我们通过翻译模型（translational model）来为 *-rules 提供理论支持。以 TransE 为例，在定理 1 中，我们证明了在翻译模型的假设下，这一类特殊的规则总是成立。详细证明可以见论文附录 C。

定理 1（*-rules的有效性）：对于一个 ，以及关于这个 的理想 TransE 翻译模型即当且仅当，形如 或 的 *-rules 总是成立。

实验有效性：为了验证 *-rules 对于知识推理的有效性，我们利用 RNNLogic 作为基础模型。RNNLogic 是规则推理模型的最新突破，能够解决长度为 5 以内的规则挖掘和推理，因此其推理效果明显超过之前的规则推理模型。

为了证明*-rules的效果，我们通过修改RNNLogic使用规则的范围，进行了以下消融实验：1）允许使用所有规则做推理；2）只允许使用*-rules；3）只允许使用非*-rules。表 1 显示了这些消融实验的对比结果。

▲ 表1

结果是令人惊讶的。尽管 *-rules 只覆盖了整个规则空间的一小部分，但在所有四个数据集中，基于 *-rules 的推理效果都优于非 *-rules。在 Kinship 和 UMLS 数据集上，基于 *-rules 的推理效果几乎与使用所有规则的推理效果一致。这些实验结果表明，少量的 *-rules 甚至比其它所有非 *-rules 更重要。

2.3 基于实例等价性的*-rules解释

我们试图理解 *-rules 的真实含义。我们发现，在将此类规则转化为图 1 的形式后，其真实含义——实例等价性——变得清晰起来。

▲ 图1

图 1 展示了一条 *-rules：

经过对节点位置的适当移动之后的样子。可以看出，该规则事实上表示，当实体 x 和实体 x’ 都是奖项 y′ 的得主，则可以使用 x’的职业 y 推理 x 的职业也是 y。因此，该规则实际上是通过找到与 x 有相同职业的实体 x’，来推断x的职业。这里 x’ 被称为 x 的原型实体。

我们强调 *-rules 与之前文献普遍认为的规则的差别。根据上述分析，*-rules 建立了实例在某一属性上的等价关系，本文中，我们将其称为实例等价性。而正如本章开头所讨论的，在之前的研究中，规则通常被认为建立了前提和假设间的语义一致关系。

我们的发现挑战了之前对规则推理工作机制的普遍认知。虽然 *-rules 仅占整个规则空间的一小部分，但对推理效果至关重要。表 2 的实验结果表明，基于规则推理的知识图谱补全之所以有效，是因为它能够通过 *-rules 表示实例间的等价关系，为目标查询寻找原型实体。

小结：实例等价性 vs 语义一致性：规则推理模型在很大程度上依赖于使用 *-rules 表示的实例间的等价关系。因此，在理解规则推理模型的工作机制时，应重视 *-rules 所提供的实例间的等价关系对推理的影响，而不应仅考虑前提和假设的语义一致性。

由实例等价性启发的知识图谱补全模型

本章我们介绍由实例等价性启发的知识图谱补全模型。我们首先在 3.1 节给出问题定义和翻译模型背景知识。在 3.2 节，我们做出理论分析，给出了基于翻译模型的实例等价性建模的解析表示。在 3.3 节，我们联合实例等价性与翻译模型。模型效果验证和解释性分析在第 3.4 节。

3.1 基于翻译模型的知识图谱补全

问题定义：知识图谱 KB 是真实世界知识 (head, relation, tail) 的三元组事实的集合。我们把 KB 中的事实表示为 。由于不可能收集所有的事实，一个基本问题是补全缺失的事实。在本文中，我们将补全任务形式化为链接预测 (link prediction)。测试集的查询格式是 或 。

翻译模型（translational model）是链接预测的主流方法之一，其主要思想是将实体之间的关系建模为在向量空间上从 head 到 tail 的映射。对于一个新的候选事实，其可能性可以通过映射后的头实体和尾实体之间的距离来计算。我们将 (h, r, t) 的可行性表示如下。

在这里， 代表实体向量， 代表翻译模型的具体映射方法。翻译模型有许多变种。这里我们介绍最经典的 TransE 变种。TransE [3] 使用简单的向量加法作为映射，其可行性评价函数是：

3.2 基于翻译模型的实例等价性建模

为了建模实例等价性，给定待查询的实体和关系，核心问题是找到其值与查询相同且存在于训练数据中的原型实体 (prototype)。如果 ，我们就说 是 的原型。例如，Joe Biden 是 (Jill Biden, lived city, ?) 的原型，因为 (Jill Biden, lived city, ?) = (Joe Biden, lived city, ?) = Washington D.C.

在翻译模型下，我们给出实例等价性的解析解。在这里，我们利用了翻译模型的特征： 是向量空间中从头实体经过关系到尾实体的映射。因此，给定查询，原型可以通过引理 1 来确定。引理 1 的证明可以见原论文的附录 A。

引理 1 对于一个理想的翻译模型 T，关于一个查询 的原型实体 p 为：

引理 1 考虑理想情况下向量的绝对相等的情况。在实际建模中，我们通过使用可微调的向量距离来放宽这一假设。具体而言，我们对候选原型 p 的可信度进行如下建模：

即我们使用边际距离，距离越近意味着概率越高。

对于查询  ，我们考虑所有关系 r 已知的实体作为候选原型。根据上述公式中的可信度来汇总这些原型。即，一个候选实体 t 的得分是其相应候选原型的得分之和：

在这里， 为标准化系数。我们将上述模型 记为 IBLE（instance-based learning，基于实例的学习模型）。我们使用 和正确实体之间的交叉嫡作为训练目标。

3.3 联合实例等价性与翻译模型

基于上述分析，IBLE 中的实体和关系编码，和翻译模型直接对应。这启发了我们进一步提出 CIBLE（combined instance- based learning）模型，它将基于实例的学习模型 和翻译模型 与相结合：

其中 是一个超参数。我们使用交叉熵作为 CIBLE 的训练目标。我们证明了，、 和 的优化目标是一致的。详细证明请见原论文附录 B。

3.4 实验结果

3.4.1 有效性

我们在下表中展示了 IBLE 和 CIBLE 在知识图谱补全任务中的效果。可以看到，IBLE 与大多数现有的 KBC 方法相比具有一定竞争力，这验证了 IBLE 的效果和潜力。对于 CIBLE，在 FB15k-237 和 WN18RR 中，除了 NBFNet 之外，CIBLE 超过了以前最先进的方法。在 Kinship 和 UMLS 中，CIBLE 达到了 SOTA 的结果。这验证了 CIBLE 的有效性。

▲ 表2

3.4.2 基于实例等价性的模型解释

通过原型理解模型工作机制：我们在下表展示了 FB15k-237数据集上，CIBLE 预测 Taylor Swift和 Barack Obama的国籍关系时所使用的原型的前 10 名。我们发现，尽管两人的国籍均为美国，但模型推理所依靠的原型却大不相同。CIBLE 模型倾向于为 Taylor Swift 选择美国歌手和演员作为原型，而为 Barack Obama 选择美国政治家为原型。这些原型的选择对人来说是合理的。

▲ 表3

全局模型行为的可视：在 CIBLE 中，实体向量之间的距离度量了候选原型的分数。因此，我们使用 t-SNE 对 FB15k-237 中的关系“official language”对应的实体向量进行了可视化。该可视化解释了所有实体的关联，从而提供了全局的模型预测的解释。可视化的结果如下图所示：

我们发现，该可视化提供了关于 CIBLE 的预测行为的丰富信息：

1. 具有相同官方语言的实体表现出聚类特征；

2. 实体之间的距离反映了目标值之外的知识相关性。例如，阿根廷（西班牙语）和巴西（葡萄牙语）彼此相近，因为它们共享其它关系；

3. 实体间的距离可以表达 1 对 N 的关系。例如，英语、普通话和泰米尔语都是新加坡的官方语言，因此，新加坡靠近中国（普通话），印度（英语）和斯里兰卡（泰米尔语）。

总结

本文的主要贡献如下：

1. 我们更新了对规则推理的工作机制的一般认知。我们发现，基于规则推理的知识图谱补全模型，主要依赖使用一类特殊规则来表示实例等价性，而非一般认为的前提和假设的语义一致性。

2. 我们发展了基于翻译模型的实例等价性表示理论，并据此提出了 IBL/CIBLE 模型。实验表明，模型在一些数据集上表现出了 SOTA 的效果，并可以提供基于实例等价性的模型解释。 

在本文的叙述中，我们修改了 NeurIPS 原文的阐述顺序。即从“先方法后洞察”改为了“先洞察后方法”。整个行文逻辑也从原文的围绕方法（即 instance-based learning），改为了现在的围绕洞察（即 *-rules 和实例等价性的发现）。我们认为，新的叙述框架能帮助读者更好的理解本文的贡献。阅读 NeurIPS 原文的读者也可以注意与本文的行文区别。

参考文献

[1] Meng Qu, Junkun Chen, Louis-Pascal Xhonneux, Yoshua Bengio, and Jian Tang. Rnnlogic: Learning logic rules for reasoning on knowledge graphs. In ICLR, 2020.

[2] Fan Yang, Zhilin Yang, and William W Cohen. Differentiable learning of logical rules for knowledge base reasoning. In NeurIPS, 2017.

[3] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In NeurIPS, 2013.

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·